强化学习（RL）的工作负载需要臭名昭著的时间来训练，因为在运行时间从模拟器收集了大量样本。不幸的是，群集扩展方法仍然很昂贵，并且在GPU计算之间来回切换时，模拟器的常用CPU实现会诱导高空开销。我们探索两种优化，通过增加GPU利用率来提高RL数据收集效率：（1）GPU矢量化：在GPU上平行模拟，以增加硬件并行性，以及（2）模拟器内核融合：融合多个模拟步骤，以在单个GPU内核中运行。启动以减少全局内存带宽要求。我们发现，与常用的CPU模拟器相比，GPU矢量化最多可达到$ 1024 \ times $速度。我们介绍了不同实现的性能，并表明，对于简单的模拟器，GPU矢量化的ML编译器实现（XLA）通过将CPU从重复的Python降低到DL Backend API呼叫来优于DNN Framework（Pytorch）$ 13.4 \ times $。我们证明，带有简单模拟器的模拟器内核融合加速度为$ 11.3 \ times $，并且随着模拟器复杂性在内存带宽要求方面的增加，增加了$ 1024 \ times $。我们表明，来自模拟器内核融合的加速度是正交的，可以与GPU矢量化结合，从而导致乘法加速。
translated by 谷歌翻译
医疗AI通过支持基于证据的医学实践，个性化患者治疗，降低成本以及改善提供者和患者体验，推进医疗保健的巨大潜力。我们认为解锁此潜力需要一种系统的方法来衡量在大规模异构数据上的医疗AI模型的性能。为了满足这种需求，我们正在建立Medperf，这是一个开放的框架，用于在医疗领域的基准测试机器学习。 Medperf将使联合评估能够将模型安全地分配给不同的评估设施，从而赋予医疗组织在高效和人类监督过程中评估和验证AI模型的性能，同时优先考虑隐私。我们描述了当前的挑战医疗保健和AI社区面临，需要开放平台，Medperf的设计理念，其目前的实施状态和我们的路线图。我们呼吁研究人员和组织加入我们创建Medperf开放基准平台。
translated by 谷歌翻译
现代深度学习应用程序需要越来越多地计算培训最先进的模型。为了解决这一需求，大型企业和机构使用专用的高性能计算集群，其建筑和维护既昂贵又远远超出大多数组织的预算。结果，一些研究方向成为几个大型工业甚至更少的学术作用者的独家领域。为了减轻这种差异，较小的团体可以汇集他们的计算资源并运行有利于所有参与者的协作实验。这种范式称为网格或志愿者计算，在众多科学领域看到了成功的应用。然而，由于高延迟，不对称带宽以及志愿者计算独特的几个挑战，使用这种用于机器学习的方法是困难的。在这项工作中，我们仔细分析了这些约束，并提出了一种专门用于协作培训的新型算法框架。我们展示了我们在现实条件下的SWAV和Albert预先预价的方法的有效性，并在成本的一小部分中实现了与传统设置相当的性能。最后，我们提供了一份成功的协作语言模型预先追溯的详细报告，有40名参与者。
translated by 谷歌翻译
使用多个计算节点通常可以加速在大型数据集上的深度神经网络。这种方法称为分布式训练，可以通过专门的消息传递协议，例如环形全部减少。但是，以比例运行这些协议需要可靠的高速网络，其仅在专用集群中可用。相比之下，许多现实世界应用程序，例如联合学习和基于云的分布式训练，在具有不稳定的网络带宽的不可靠的设备上运行。因此，这些应用程序仅限于使用参数服务器或基于Gossip的平均协议。在这项工作中，我们通过提出MOSHPIT全部减少的迭代平均协议来提升该限制，该协议指数地收敛于全局平均值。我们展示了我们对具有强烈理论保证的分布式优化方案的效率。该实验显示了与使用抢占从头开始训练的竞争性八卦的策略和1.5倍的加速，显示了1.3倍的Imagenet培训的加速。
translated by 谷歌翻译
在本文中，我们为不存在或无限的数据的方差提供了置信序列的扩展。置信序列提供的置信区间在任意数据依赖性停止时间时有效，自然具有广泛的应用。我们首先为有限方差案例的CATONI风格置信序列的宽度建立了一个下限，以突出现有结果的松动性。接下来，我们为数据分布提供了紧密的catoni风格的置信序列，该数据分布有一个放松的〜$ p^{th} - $ arment，其中〜$ p \ in（1,2] $，并加强了有限差异案例的结果〜$ p = 2 $。显示出比使用dubins-savage不等式获得的置信序列更好。
translated by 谷歌翻译
研究了生物样品中的小分子，以提供有关疾病状态，环境毒素，天然产品发现和许多其他应用的信息。小分子混合物组成的主要窗口是串联质谱法（MS2），它产生的数据具有高灵敏度和每百万分辨率的部分。我们采用MS2中质量数据的多尺度正弦嵌入，旨在应对MS2数据的完整分辨率学习的挑战。使用这些嵌入，我们为光谱库搜索提供了新的最新模型，这是MS2数据初始评估的标准任务。我们还引入了一项新的任务，从MS2数据中引入了化学性质预测，该预测在高通量MS2实验中具有自然应用，并表明可以在10个化合物中获得平均$ r^2 $ 80 \％，可以在10个化学特性中获得优先级的10个化学性质药化学家。我们使用降低降低技术和具有不同浮点分辨率的实验，以显示从MS2数据学习中多尺度正弦嵌入的重要作用。
translated by 谷歌翻译
我们提出了一种谱聚类算法，用于分析多元极端的依赖性结构。更具体地，我们专注于多元极端的渐近依赖性，其特征在于极值理论中的角度或光谱测量。我们的工作研究了基于从极端样本构成的随机价值的随机价值的频谱聚类的理论性能，即，半径超过大阈值的随机载体的角部分。特别是，我们得出了线性因子模型产生的极端的渐近分布，并证明，在某些条件下，光谱聚类可以一致地识别该模型中产生的极端簇。利用这一结果，我们提出了一种简单的一致估计策略，用于学习角度测量。我们的理论发现与说明我们方法的有限样本性能的数值实验相辅相成。
translated by 谷歌翻译